Hard Prompts Made Easy
https://github.com/YuxinWenRick/hard-prompts-made-easy
Paper : https://arxiv.org/abs/2302.03668Hard Prompts Made Easy
Demo : https://huggingface.co/spaces/tomg-group-umd/pez-dispenserhttps://colab.research.google.com/drive/1VSFps4siwASXDwhK_o29dKA9COvTnG8A?usp=sharing
実装
PEZ Dispenser
Stable Diffusion web UIで使う
Unprompted
これはなに？
https://gyazo.com/fc506119b216409f87280c3faf83f330
Prompts made easy (PEZ) は、テキスト用の勾配最適化ツール(gradient optimizer)
画像をStable Diffusionのプロンプトに変換したり、LLMタスクのハードプロンプトを学習したりすることができる
現状職人技みたいになっているプロンプトエンジニアリングを助けてくれる
なぜHard Prompt?
Hard Promptというのは我々が書いている"1girl,high detailed"みたいなあれ
人間に理解できる言葉(トークン)で書く
試行錯誤して見つけるしか無い
対するSoft Promptもある
Textual Inversionとかのことかな？
Hard Promptの優位性
汎用性がある
Textual Inversionは特化させすぎて、描く対象ごとに作らないといけない
Textual Inversionはモデルが変わったら使えない
MidjourneyやNovelAIのような、あんまり弄れない環境でも使える
特徴
過学習しない?
プロンプトの連結ができる
Midjourneyのimage prompt的な
プロンプトの圧縮が可能
トークンの節約になる
同じスタイルの画像を複数枚与えると、スタイル要素をプロンプトとして表せる
HyperNetwork的な
課題点
Hard Promptとしての利点に編集できる、というのがあるのに人間が理解できないプロンプトになる可能性がある
もうすでに半分くらいよくわからない
現状CLIPを使っているので、入力する画像、出力するモデルともにCLIPを使っているものだと良い結果が出やすい？
Unpromptedで試す
元絵
https://gyazo.com/9ece8c0ba54f2a20f27df52de7538eb0
$ img2pez
出力されたプロンプト
$ apples 🍂manga autumn [] shanmeng hye
ACertainModel / DPM++2M Karras / CFG 9 で生成
https://gyazo.com/7e4c5538413c55128809231ae0353725https://gyazo.com/1b95f8c395f7c54040721ce9c69b5747https://gyazo.com/45760697d0f8e331d288547efaa843c1
Nijijourney
https://gyazo.com/310bec5b1371980f07109668fd437ab2https://gyazo.com/e8911f032a7ffe8f11d219287c1bbde1
プロンプトの意味全然わかんないのに出力がそれっぽいのすごい…すごくない？nomadoor.icon
呪文がますます呪文に…
すごいwogikaze.iconwogikaze.icon*3
絶対この機能使いやすい
Prompt Concatenation(プロンプトの連結)
元絵
https://gyazo.com/c30c428712d2b24ab2471596f9a0643c
$ teens rencesmoking aesthetic depicghoul cosplaying sawyer
上のプロンプトと一緒に書く
$ (1girl:1.2) teens rencesmoking aesthetic depicghoul cosplaying sawyer ( apples 🍂manga autumn [] shanmeng hye :0.9)
ちょっと調整してある
これを気軽にできるのがSoft Promptと違ってすごいところ
Anything v3.0
https://gyazo.com/0df10e32e5285141452bee24f6e5771bhttps://gyazo.com/25954dcc39f3ad95f2b33aed18233c38https://gyazo.com/bb3065d5d4097c58172f6a91210b8caa
image2prompt